SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning
用于代理强化学习的自我演化在线策略蒸馏
🧭 自我演化技能蒸馏 · 代理强化学习
Tsinghua University · Zhejiang University · The Chinese University of Hong Kong · Nanyang Technological University · Tongji University
SEED通过从在线轨迹提取后见之明技能并蒸馏为密集token级信号，弥补了结果奖励与token策略之间的监督鸿沟
📌 工作参考价值（4 点）
- 在训练对话式推荐或工具使用 Agent 时，可从在线轨迹自动提取成功模式/失败规则，蒸馏回策略，缓解稀疏奖励问题
- 用当前策略作为技能分析器实现自我演化，辅助监督与策略分布同步更新，避免离线方案中的分布偏移
- 技能增强的分数重计算（概率偏移）作为密集的 token 级蒸馏信号，可与 RL 损失联合优化，无需额外人工标注
- 提升模型在未见场景的泛化能力，对搜索推荐 Agent 处理长尾查询或复杂对话有一定参考价值